AI Papers Daily

#Prefix Caching

3 篇

ReuseGR: Offline--Online Decoupled Generative Retrieval via Adaptive Prefix Reuse

ReuseGR：自适应前缀复用解耦生成式检索

🧭 生成式检索 · 自适应前缀缓存 ★ 深度解读

Xidian University · Alibaba International Digital Commerce Group

7B离线规划共享SID前缀，0.5B在线个性化补全，以38.9%更低延迟达到与7B相当HR@100

📌 工作参考价值（4 点）

• 离线在线解耦的查询缓存：对高频 query，用大模型离线生成 SID 前缀，在线小模型仅完成剩余 token，平均延迟降低近 40%，适合电商搜索广告海量请求。
• ReuseCut 自适应深度选择：基于历史点击覆盖率用 Wilson 下限确定缓存深度，而非固定深度，可提升 HR@100 约 3.17 个百分点，可借鉴到 query 缓存策略。
• Path KD 路径级蒸馏：用 7B 教师的后缀 token 分布 KL 蒸馏 0.5B 学生，只训练 LoRA，提升在线补全质量且训练成本低。
• BudgetCut 分支选择：将 beam 搜索的分支选择建模为策略优化，用边际召回增益作为 OPD teacher 初始化，再用 GRPO 优化整组选择，比简单分数裁剪更有效，可直接用于生成式推荐的 beam pruning。

GenRec | 2026-11-03 | cs.IR | score 10/10

Generative RetrievalSemantic IDPrefix CachingKnowledge DistillationSearch AdvertisingOffline-Online Decoupling

TokenPilot: Cache-Efficient Context Management for LLM Agents

TokenPilot：双粒度缓存高效的智能体上下文管理

🧭 Agent的上下文缓存管理 ★ 深度解读

Zhejiang University · University of Electronic Science and Technology of China · Xi'an University of Electronic Science and Technology · HomologyAI

通过前缀稳定化和残值驱动的驱逐实现缓存感知的上下文管理，大幅降低长时程LLM代理推理成本

📌 工作参考价值（4 点）

• 前缀稳定化：将系统提示中的动态变量（如工作目录、时间戳）替换为静态占位符，并将工具定义移至提示尾部，最大化跨轮次KV缓存命中。可直接应用于多轮对话式推荐助手，降低每次推理的预填充成本。
• 带安全网的观测压缩：对工具返回的环境消息（HTML、终端输出等）进行规则化瘦身和去重，同时保留恢复工具，允许代理在需要时拉取完整内容。类似思路可运用于电商Agent的页面抓取和处理，减少冗余token但不丢失关键信息。
• 残值驱动的生命周期管理：不立即清除已完成子任务的上下文，而是通过轻量估计器评估其剩余价值，只有在不再被后续任务依赖时才批量驱逐。这种保守策略能维持缓存连续性，适用于长期运行的商品搜索或营销任务流。
• 缓存感知的成本建模：评估上下文管理时，应直接统计缓存命中与未命中的token数，而非仅看总输入token，以此指导系统优化，使成本降低体现在实际计费上。

Agent | 2026-06-14 | HF Daily | score 8/10

Context ManagementPrefix CachingLLM AgentsCost EfficiencyLifecycle-Aware

miniReranker: Efficient Multimodal Reranking through Visual Cache Reuse and Interaction Sparsity

迷你重排序器：通过视觉缓存复用与交互稀疏性实现高效多模态重排序

🧭 多模态重排序 · 视觉缓存复用与稀疏交互

Eastern Institute of Technology, Ningbo · Netmind.ai · Munich Center for Machine Learning, LMU

通过视觉优先格式、提前退出、交互带及token剪枝，将单查询多模态重排序时间降至原来的不到1%，同时保持96%以上性能。

📌 工作参考价值（4 点）

• 视觉优先的 prefix 缓存复用：在电商图片搜索重排中，将图片（视觉 token）放在输入序列前面，可利用 prefix caching 复用绝大多数计算，仅替换文本 query，大幅降低 KV cache 重复生成开销。
• 提前退出与交互限制：对于候选量大的商品重排序，可在模型浅层插入相关性头，仅对 top-K 候选执行深层交互，或只在少数层启用跨图文注意力，有效平衡精度与延迟。
• 视觉 token 剪枝：利用 embedder 引导的 token 剪枝，在图文对比前预先剔除冗余视觉信息，减少输入长度，适合移动端或高吞吐的轻量级多模态重排场景。
• 工程融合思路：三项优化（early exit + interaction band + token pruning）可叠加使用，根据业务延迟预算灵活配置，例如先剪枝再浅层打分，最后仅对少量候选进行完整多模态交互。

Multimodal | 2026-06-09 | cs.IR | score 8/10

MLLMRerankingVisual CachePrefix CachingEarly ExitToken Pruning